當整個AI產業都在為輝達GPU和HBM高頻寬記憶體的組合支付高昂代價時,一家成立僅三年的以色列初創公司,提出了一個截然不同的思路。
2023年由前Google和Meta工程師創立的Majestic Labs,近日正式推出了名為Prometheus的AI伺服器。這家總部位於特拉維夫的公司直言不諱地指出,將昂貴的圖形處理器與高頻寬記憶體捆綁在一起,本質上已經成了一種受記憶體限制、沒有前途的AI推理路徑。
用便宜的LPDDR6替代昂貴的HBM
Prometheus伺服器的核心邏輯非常簡單直接:不再使用輝達GPU加HBM的方案,而是用自研的Ignite AI處理單元(AIU)取而代之。每個AIU將Arm核心與RISC-V向量和張量引擎相結合。一台Prometheus伺服器最多可容納12個AIU,共享一個8TB到128TB的統一連貫記憶體池,全部採用LPDDR6記憶體。